import os
import glob
import pandas as pd

# 指定文件夹路径
folder_path = '../toyi_data_tag'

# 使用glob模块获取文件夹中所有csv文件的路径
csv_files = glob.glob(os.path.join(folder_path, "*.csv"))

# 初始化一个空的列表，用于存储所有csv文件的数据框
dataframes_list = []

# 遍历每个csv文件并将其内容存储到列表中
for file in csv_files:
    df = pd.read_csv(file)
    dataframes_list.append(df)

# 使用pd.concat()将所有数据框合并到一个DataFrame中
all_data = pd.concat(dataframes_list, ignore_index=True)

# 将合并后的数据保存为新的csv文件
output_file = 'merged_data.csv'
all_data.to_csv(output_file, index=False)

print(f"All CSV files have been merged into {output_file}")